高参数优化（HPO）是用于实现峰值预测性能的机器学习模型的关键组成部分。尽管在过去几年中提出了许多HPO的方法和算法，但在照明和检查这些黑盒优化问题的实际结构方面几乎没有取得进展。探索性景观分析（ELA）集成了一组技术，可用于获得有关未知优化问题的特性的知识。在本文中，我们评估了30个HPO问题的五个不同的黑盒优化器的性能，其中包括在10个不同数据集中训练的XGBoost学习者的两维连续搜索空间。这与对黑框优化基准（BBOB）对360个问题实例进行评估的相同优化器的性能形成鲜明对比。然后，我们计算HPO和BBOB问题上的ELA特征，并检查相似性和差异。 ELA特征空间中HPO和BBOB问题的聚类分析使我们能够确定HPO问题与结构元级别上的BBOB问题相比。我们确定了与ELA特征空间中HPO问题接近的BBOB问题的子集，并表明优化器性能在这两组基准问题上相似。我们重点介绍了ELA对HPO的公开挑战，并讨论了未来研究和应用的潜在方向。
translated by 谷歌翻译
Legal Prompt Engineering (LPE) or Legal Prompting is a process to guide and assist a large language model (LLM) with performing a natural legal language processing (NLLP) skill. Our goal is to use LPE with LLMs over long legal documents for the Legal Judgement Prediction (LJP) task. We investigate the performance of zero-shot LPE for given facts in case-texts from the European Court of Human Rights (in English) and the Federal Supreme Court of Switzerland (in German, French and Italian). Our results show that zero-shot LPE is better compared to the baselines, but it still falls short compared to current state of the art supervised approaches. Nevertheless, the results are important, since there was 1) no explicit domain-specific data used - so we show that the transfer to the legal domain is possible for general-purpose LLMs, and 2) the LLMs where directly applied without any further training or fine-tuning - which in turn saves immensely in terms of additional computational costs.
translated by 谷歌翻译
在科学计算的许多领域越来越流行的人工神经网络（ANN）的大量使用迅速增加了现代高性能计算系统的能源消耗。新型的神经形态范式提供了一种吸引人的替代方案，它直接在硬件中实施了ANN。但是，对于科学计算中用例使用ANN在神经形态硬件上运行ANN的实际好处知之甚少。在这里，我们提出了一种方法，用于测量使用常规硬件的ANN来计算推理任务的时间。此外，我们为这些任务设计了一个体系结构，并根据最先进的模拟内存计算（AIMC）平台估算了相同的指标，这是神经形态计算中的关键范例之一。在二维凝结物质系统中的量子多体物理学中的用例比较两种方法，并在粒子物理学中大型强子对撞机上以40 MHz的速率以40 MHz的速率进行异常检测。我们发现，与传统硬件相比，AIMC最多可以达到一个较短的计算时间，最高三个数量级的能源成本。这表明使用神经形态硬件进行更快，更可持续的科学计算的潜力。
translated by 谷歌翻译
在开源存储库中发现的真正错误修复似乎是学习本地化和修复实际错误的理想来源。但是，缺乏大规模的错误修复集合使过去难以有效利用过去的较大神经模型的真正错误修复。相比之下，人工错误 - 通过突变现有源代码产生的人为错误可以轻松地以足够的规模获得，因此在培训现有方法时通常是首选的。尽管如此，在面对真正的错误时，经过对人造错误的培训的本地化和维修模型通常在表现不佳。这就提出了一个问题，是否在实际错误修复程序上培训的错误本地化和维修模型在本地化和维修实际错误方面更有效。我们通过引入Realit，这是一种预先培训和预先计算方法，以有效地学习从真正的错误修复中进行本地化和修复真实的错误来解决这个问题。 Realit首先是在传统突变操作员产生的大量人造错误上进行的，然后在较小的一组实际错误修复程序上进行了微调。微调不需要对学习算法进行任何修改，因此可以轻松地在各种培训方案中用于错误定位或维修（即使实际培训数据很少）。此外，我们发现，对使用真实错误修复的培训在经验上几乎使现有模型在实际错误上的本地化性能翻了一番，同时维护甚至改善了维修性能。
translated by 谷歌翻译
尽管可解释的AI的大量研究重点是产生有效的解释，但较少的工作致力于人们如何理解和解释解释的问题。在这项工作中，我们通过研究基于显着性数据的解释来关注这个问题。文本模型的特征属性解释旨在传达输入文本的哪些部分比其他部分更具影响力。许多当前的解释方法，例如基于梯度或基于沙普利价值的方法，都提供了重要的衡量标准，这些方法在数学上是众所周知的。但是，一个人接受解释（解释）如何理解它？他们的理解是否与解释试图交流的内容相匹配？我们从经验上研究了输入的各种因素，特征 - 贡献解释和可视化程序对Laypeople对解释的解释的影响。我们询问人群工人对英语和德语的任务进行解释，并根据感兴趣的因素适合他们的回答。我们发现人们经常误解解释：尽管有直接传达重要性的解释，但肤浅和无关的因素（例如单词长度）影响了解释者的重要性分配。然后，我们证明其中一些失真可以减弱：我们提出了一种基于过度感受和低估的模型估计的方法来调整销售的方法，并探索条形图作为热图显着性可视化的替代方法。我们发现两种方法都可以减轻特定因素的扭曲作用，从而使对解释的理解更好地理解。
translated by 谷歌翻译
自然语言处理领域（NLP）最近看到使用预先接受训练的语言模型来解决几乎任何任务的大量变化。尽管对各种任务的基准数据集显示了很大的改进，但这些模型通常在非标准域中对临床领域的临床域进行次优，其中观察到预训练文件和目标文件之间的巨大差距。在本文中，我们的目标是通过对语言模型的域特定培训结束这种差距，我们调查其对多种下游任务和设置的影响。我们介绍了预先训练的Clin-X（临床XLM-R）语言模型，并展示了Clin-X如何通过两种语言的十个临床概念提取任务的大幅度优于其他预先训练的变压器模型。此外，我们展示了如何通过基于随机分裂和交叉句子上下文的集合来利用我们所提出的任务和语言 - 无人机模型架构进一步改善变压器模型。我们在低资源和转移设置中的研究显示，尽管只有250个标记的句子，但在只有250个标记的句子时，缺乏带注释数据的稳定模型表现。我们的结果突出了专业语言模型作为非标准域中的概念提取的Clin-X的重要性，但也表明我们的任务 - 无人机模型架构跨越测试任务和语言是强大的，以便域名或任务特定的适应不需要。 Clin-Xlanguage模型和用于微调和传输模型的源代码在https://github.com/boschresearch/clin\_x/和Huggingface模型集线器上公开使用。
translated by 谷歌翻译